AI Papers Daily

#softmax approximation

2 篇

Two-Level Softmax Sampling Done Right: Correcting Bias from Size Imbalance and Dispersion

两层 Softmax 采样的正确做法：纠正规模不平衡与离散度偏差

🧭 推荐候选采样 · 两层 softmax 修正

Spotify · SJTU Paris Elite Institute of Technology

提出 S-2LS 和 SD-2LS，修正标准两层 softmax 采样忽略簇规模不平衡与簇内离散度的偏差，几乎无额外计算开销

📌 工作参考价值（4 点）

• 在电商/广告大规模候选召回中，如果采用两阶段 softmax（先 cluster 后 item），注意标准 2LS 的 cluster 概率不是 item 聚合概率；对 cluster 打分时可直接加 log|C| 做 size 校正，避免热门大簇被系统性低估。
• SD-2LS 进一步校正簇内相似度离散度，推荐用 cluster 内 log-sum-exp（而非质心点积）近似 cluster 的 softmax 质量；若担心计算量，可预计算每个 cluster 的 dispersion 项，工程开销可忽略。
• 作为产品 embedding 检索、短视频/商品候选采样、负采样训练中的替代方案，S-2LS/SD-2LS 能降低两阶段采样偏差，提升召回质量与采样保真度。
• 业务中若簇大小极不平衡（头部类目 vs 长尾类目），优先用 S-2LS；若同簇 item embedding 方差大（同簇商品跨价格带/风格），用 SD-2LS。

RecSys | 2026-10-07 | cs.IR | score 7/10

two-level softmaxsampling biascandidate samplingembedding retrievalsoftmax approximation

The Key to Going Linear: Analysis-Driven Transformer Linearization

走向线性的关键：分析驱动的 Transformer 线性化

🧭 LLM 后处理线性化 · 冻结骨干注意力近似

Qualcomm AI Research

证明 key-dependent rank-1 正交投影是 softmax 的关键，提出 sink tokens、短卷积、固定预算缓存路由等干预，实现冻结骨干线性化，在 32B 规模超越前方法

📌 工作参考价值（4 点）

• 若业务使用 LLM 做长上下文推理（如 Agent 长记忆、长文档理解），可采用冻结骨干 + 训练轻量线性注意力替换的方式，大幅降低 KV 缓存和计算量，保持模型质量。
• 提出的 sink tokens、短卷积、固定预算缓存路由是低成本的结构干预，可直接嵌入现有注意力层，尤其适合需要实时响应的推荐或搜索系统。
• 分析揭示 key-dependent rank-1 投影是 softmax 的核心操作，为设计定制化的高效注意力模块提供了理论依据，避免盲目试错。
• 该方法无需全参数微调，只需训练少量新增参数，适合模型频繁更新或需保持原始性能稳定的场景。

LLM | 2026-07-08 | cs.LG | score 6/10

linear attentionpost hoc linearizationsoftmax approximationsink tokensfixed-budget cachetransformer inference